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Содержание 


О1 Постановка задачи 


Зодержание 


О1 Постановка задачи 


Варианты интеграции БД (ЕТЕ, СТ, СОС} 


Зодержание 


О1 Постановка задачи 


Варианты интеграции БД (ЕТ, СТ, СОС) 


О5 — Решения на основе СОС 


О1 


05 


4 


Зодержание 


Постановка задачи 


Варианты интеграции БД (ЕТ, СТ, СОС) 


Решения на основе СОС 


Рербетнит 


О1 


05 


4 


Зодержание 


Постановка задачи 


Варианты интеграции БД (ЕТ, СТ, СОС) 


Решения на основе СОС 
Рербетит 


Выводы 


Постановка задачи 


Необходимо переливать данные между разными источниками и 
потребителями -— как $01, так и М№о50(. 


Тагапфоо! в Яндекс (Не) нанеся 


Постановка задачи 


Необходимо переливать данные между разными источниками и 
потребителями -— как $01, так и М№о50(. 


Требования: 
® Низкий лаг репликации (40-50 мс) 


Тагапфоо! о Яндекс (Не) нанеся 


Постановка задачи 


Необходимо переливать данные между разными источниками и 
потребителями -— как $01, так и М№о50(. 


Требования: 
® Низкий лаг репликации (40-50 мс) 
. Низкая нагрузка на БД источник 


Тагапфоо! о Яндекс (Не) нанеся 


Постановка задачи 


Необходимо переливать данные между разными источниками и 
потребителями -— как $01, так и М№о50(. 


Требования: 

® Низкий лаг репликации (40-50 мс) 
. Низкая нагрузка на БД источник 

° Устойчивость к высоким нагрузкам 


Тагапфоо! и Яндекс (Не) нанеся 


Постановка задачи 


Необходимо переливать данные между разными источниками и 
потребителями -— как $01, так и М№о50(. 


Требования: 

® Низкий лаг репликации (40-50 мс) 
. Низкая нагрузка на БД источник 

° Устойчивость к высоким нагрузкам 
° Отказоустойчивость при сбоях 


Тагапфоо! 2? Яндекс (Не) нанеся 


ЕТ. — Ехгас* ТгапзТогт Цоаа 


ие 


5оцгсе 


Тагапфоо| 


Плюсы: 
. Универсальный механизм 
. Человекочитаемый формат данных 


Минусы: 


° Пополнительная нагрузка на источник и 
приемник 


. Низкая скорость 
. Огромный лаг 


» Большой объем диска для хранения 
выгруженных данных 


4 Яндекс (НЕ) МенЕсая"" 


СГапфе ТгаскКтз 


Плюсы: 

® Стриминг из источника 
° Высокая скорость 

е Низкий лаг 


5очцгсе 


Чоигпа|! 
Та е 


Минусы: 

е Изменения в виде дельты 

.® Невсе БД умеют из коробки 

® Дополнительная нагрузка на источник и 
приемник 

° | арантии консистентности и тулинг свои 
для каждого кеиса 


Тагапфоо! 15 Яндекс (Ни) Наньсаа 


СОС — Свапге Шаха Сартиге 


Плюсы: 
. Изменения приходят полностью 


а 
соигсе МАЕ. ° петнагрузки на источник, использует 
МАЕ 


. Высокая скорость 
е Низкий лаг 
2 ТОО . | арантии консистентности данных 


| 


Минусы: 
° Дополнительная нагрузка на приемник 


и 


Тагапфоо! 16 Яндекс (Ни) Наньсаа 


основе С 


шения не 


Решения на основе СОС 


® Огасе соаепФаке + Чзегех" Плюсы: 


. Быстро 


Минусы: 

е Сложно 

® Дорого 

. [олько Огаце 


Тагапфоо! 8 Яндекс (Не) нанеся 


Решения на основе СОС 


Плюсы: 
° [ВМ штозрпеге СОС — &@ для * Быстро 
ОВ 
Минусы: 
. Сложно 
® Порого 


® Голько ТВМ [ОВ2 


Тагапфоо! 9 Яндекс (Не) нанеся 


Решения на основе СОС 


Плюсы: 
. Понимаем, как работает 


° Хорошо для конкретной 
® Самописные (например, на задачи 


основе ряозэгер! + рерго*о} 


Минусы: 

Долго разрабатывать 
° Неуниверсальны 

. Сложно поддерживать 


Тагапфоо! 20 Яндекс (Не) Наньсаа 


Решения на основе СОС 


е Оерейт 


Тагапфоо! 21 Яндекс (Не) нанеся 


Оербейнит 


Почему Вебе7тцат? 

С чего мы начали 
ебет Етбеааес 
Оебе7тнит Зегуег 


Почему Вебе7ит? 


е Написан на ча\уа 


Тагапфоо! 25 Яндекс (Не) нанеся 


Почему Вебе7ит? 


е Написан на чауа 
е Основные компоненты 
® Зоцгсе-коннекторы (к БД источникам} 


Тагапфоо| 


24 Яндекс (НЕ) Нвньоаа“ 


Почему Вебе7ит? 


° паписан на чауа 
® Основные компоненты 
® Зоцгсе-коннекторы (к БД источникам} 
® Перехлит Етбеааеч (библиотека, без КаЁка) 


Тагапфоо! 25 Яндекс (Не) нанеся 


Почему Вебе7ит? 


° паписан на чауа 
® Основные компоненты 
® Зоцгсе-коннекторы (к БД источникам} 
® Перелит Етбеааеч (библиотека, без КаЁка) 
®* Перехит Зегуег (готовое приложение, без Ка#ка) 


Тагапфоо! 26 Яндекс (Не) Наньсаа 


Почему Вебе7ит? 


° Написан на чауа 
® Основные компоненты 
® Зоцгсе-коннекторы (к БД источникам} 
® Перехит Етбеааеч (библиотека, без Ка!ка) 
® Пербехнит Зегуег (готовое приложение, без Ка#ка) 
. ОшКк-коннекторы (к целевым БД) 


Тагапфоо! 27 Яндекс (Не) Наньсаа 


| ь д 
СПАКУХА ЩАС ВСЁ БУДЕТ 
Тагапфоо| 28 Яндекс 


С чего мы начали 


Попытка с помощью Шербе7ит заменить Огаце Фдо3Зеп@ате 
(Ребегит Етбедаеа) 
. Чтение геао-логов с помощью 1оМтег 


Тагапфоо! 29 Яндекс (Не) нанеся 


С чего мы начали 


Попытка с помощью Шебе7тнит заменить Огаце до Чеп@аке 
(Ребегит Етбедаеа) 

. Чтение геао-логов с помощью 1оМтег 

.е Чтение изменений с помощью Х${геат АРТ 


Тагапфоо! зо Яндекс (Не) нанеся 


С чего мы начали 


Попытка с помощью Шебе7тнит заменить Огаце до Чеп@аке 
(Ребегит Етбедаеа) 

. Чтение геао-логов с помощью 1оМтег 

.е Чтение изменений с помощью Х%{геат АРТ 
Но: 

° [о5Мштегнестабилен 


Тагапфоо! 51 Яндекс (Не) нанеся 


С чего мы начали 


Попытка с помощью Шебе7тнит заменить Огаце до Чеп@аке 
(Ребегит Етбедаеа) 

. Чтение геао-логов с помощью 1оМтег 

.е Чтение изменений с помощью Х${геат АРТ 
Но: 

° [о5Мштегнестабилен 

. (озМшегаергесацеач 


Тагапфоо! 52 Яндекс (Не) нанеся 


С чего мы начали 


Попытка с помощью Шеретит заменить Огае до|чеп@ате 
(Ребегит Етбедаеа) 

. Чтение геао-логов с помощью 1оМтег 

° Чтение изменений с помощью Х5<геат АРТ 
Но: 

. [о5Мштегнестабилен 

. (озМшегаергесацеач 

Спецификации ГоМтег меняются от версии к версии 


Тагапфоо! 55 Яндекс (Не) нанеся 


С чего мы начали 


Попытка с помощью Шербе7ит заменить Огаце Фдо3Зеп@ате 
(Ребегит Етбедаеа) 
. Чтение геао-логов с помощью 1оМтег 
° Чтение изменений с помощью Х5<геат АРТ 
Но: 
. [о5Мштегнестабилен 
. (озМшегаергесацеач 
Спецификации ГоМтег меняются от версии к версии 
. Хогеат АРТ по лицензии Огас{е до|аеп@ае 


Тагапфоо! 54 Яндекс (Не) нанеся 


Тагапфоо! 55 Яндекс (нк) НИБНЕоаа" 


ПРебБе7цит ЕтБеааеса 


Решили 
. опробовать на примере Роз{егезо 


Тагапфоо! 56 Яндекс (Не) нанеся 


ПРебБе7цит ЕтБеааеса 


Решили 
. Попробовать на примере Роз{егезо 
® Сделать более универсальным 


Тагапфоо| 


57 Яндекс (НЕ) МенЕсая"" 


ПРебБе7цит ЕтБеааеса 


Решили 
. Попробовать на примере Роз{егезо 
® Сделать более универсальным 
Получили 
® Монолит 


Тагапфоо| 


58 Яндекс (НЕ) МенЕсая"" 


ПРебБе7цит ЕтБеааеса 


Решили 
. Попробовать на примере Роз{егезо 
® Сделать более универсальным 
Получили 
® Монолит 
. Высокий лаг репликации 


Тагапфоо| 


59 Яндекс (НЕ) МенЕсая"" 


ПРебБе7цит ЕтБеааеса 


Решили 
. Попробовать на примере Роз{егезо 
® Сделать более универсальным 
Получили 
® Монолит 
. Высокий лаг репликации 
. Лаг репликации растет пропорционально количеству 
записей 


Тагапфоо! до Яндекс (Не) Наньсаа 


ПРебБе7цит ЕтБеааеса 


Решили 
. Попробовать на примере Роз{егезо 
® Сделать более универсальным 
Получили 
® Монолит 
. Высокий лаг репликации 
‚ Лаг репликации растет пропорционально количеству 
записей 
° Записи приходят в ч$О№ 


Тагапфоо! 41 Яндекс (Не) Наньсаа 


$2 


_ №) 
у к 


к: 


Привет грабли! 
Это снова, я! 


Тагапфоо! 42 Яндекс (НС) Нана" 


ПебБе7тнит ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 


Тагапфоо! 45 Яндекс (Не) нанеся 


ебет ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 
Но 
° В целевой БД получаем неконсистентность данных 


Тагапоо! 44 Яндекс (Не) Наньсаа 


ебет ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 
Но 
° В целевой БД получаем неконсистентность данных 
. Перешли от ОМ к Кака сочгсеКесога 


Тагапфоо! 45 Яндекс (Не) Наньсаа 


ебет ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 
Но 
° В целевой БД получаем неконсистентность данных 
° Перешли от Ч$ОМ к Кака сочгсеКесога 
® Незначительное уменьшение лага репликации (несколько 
минут) 


Тагапфоо! 46 Яндекс (Не) нанеся 


ебет ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 
Но 
° В целевой БД получаем неконсистентность данных 
° Перешли от Ч5ОМ к Кака зочгсеКесога 
® Незначительное уменьшение лага репликации (несколько 
минут) 
. Батчинг 


Тагапфоо! 47 Яндекс (Не) нанеся 


ебет ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 
Но 
° В целевой БД получаем неконсистентность данных 
° Перешли от Ч5ОМ к Кака зочгсеКесога 
® Незначительное уменьшение лага репликации (несколько 
минут) 
. Батчинг 
Ещё немного уменьшили лаг (в 1.5-2 раза) 


Тагапфоо! 48 Яндекс (Не) нанеся 


ебет ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 
Но 
° В целевой БД получаем неконсистентность данных 
° Перешли от Ч5ОМ к Кака зочгсеКесога 
® Незначительное уменьшение лага репликации (несколько 
минут) 
. Батчинг 
Ещё немного уменьшили лаг (в 1.5-2 раза) 
° Батчинг + отправка в отдельном потоке 


Тагапфоо! дэ Яндекс (Не) нанеся 


ебет ЕтБеадаесч - лаг 


Попытались уменьшить лаг репликации 
° Асинхронная прогрузка данных 
Но 
° В целевой БД получаем неконсистентность данных 
° Перешли от Ч5ОМ к Кака зочгсеКесога 
® Незначительное уменьшение лага репликации (несколько 
минут) 
. Батчинг 
Ещё немного уменьшили лаг (в 1.5-2 раза) 
° Батчинг + отправка в отдельном потоке 
» Приемлемый лаг репликации (--4О0-50 мс) 


Тагапфоо! Бо Яндекс (Не) нанеся 


Пебе7ит Етбеадаеч — отказоустойчивость 


Из коробки хранит оффсеты 
° В файле (легко случайно удалить) 


Тагапфоо! 5 Яндекс (Не) нанеся 


Пебе7ит Етбеадаеч — отказоустойчивость 


Из коробки хранит оффсеты 
° В файле (легко случайно удалить) 
. В Каха (может быть недоступна) 


Тагапфоо! 52 Яндекс (Не) нанеся 


Пебе7ит Етбеадаеч — отказоустойчивость 


Из коробки хранит оффсеты 
° В файле (легко случайно удалить) 
. В КаН‹а (может быть недоступна) 
При падении может не восстановиться 
. Храним оффсеты в БД-приёмнике 


Тагапфоо| 


55 Яндекс (НЕ) МенЕсая"" 


Пебе7ит Етбеадаеч — отказоустойчивость 


Из коробки хранит оффсеты 
° В файле (легко случайно удалить) 
. В КаН‹а (может быть недоступна) 
При падении может не восстановиться 
°® Храним оффсеты в БД-приёмнике 
° читаем их при старте 


Тагапфоо! 54 Яндекс (Не) нанеся 


Пебе7ит Етбеадаеч — отказоустойчивость 


Из коробки хранит оффсеты 
° В файле (легко случайно удалить) 
. В КаН‹а (может быть недоступна) 
При падении может не восстановиться 
.® Храним оффсеты в БД-приёмнике 
° читаем их при старте 
Ошибка записи в БД-приеёмник 
° Из коробки продолжит работать — плохо 


Тагапфоо| 


55 Яндекс (НЕ) МенЕсая"" 


Пебе7ит Етбеадаеч — отказоустойчивость 


Из коробки хранит оффсеты 
° В файле (легко случайно удалить) 
. В КаН‹а (может быть недоступна) 
При падении может не восстановиться 
.® Храним оффсеты в БД-приёмнике 
° читаем их при старте 
Ошибка записи в БД-приеёмник 
. Из коробки продолжит работать — плохо 
* Делаем повторные попытки записать батч 


Тагапфоо| 


56 Яндекс (НЕ) МенЕсая"" 


Пебе7ит Етбеадаеч — отказоустойчивость 


Из коробки хранит оффсеты 
° В файле (легко случайно удалить) 
. В КаН‹а (может быть недоступна) 
При падении может не восстановиться 
.® Храним оффсеты в БД-приёмнике 
° читаем их при старте 
Ошибка записи в БД-приеёмник 
. Из коробки продолжит работать — плохо 
° Делаем повторные попытки записать батч 
. Начинаем отправку с ошибочной строки 


Тагапфоо| 


57 Яндекс (НЕ) МенЕсая"" 


Для чего хранить оффсеты? 


ами» Поток данных из источника 
(репликатор) 


АС 
м Ш 
О Е 


Тагатоо! 


Тагапфоо! 58 Яндекс (НЕ) Наньса 


ПебБе7щт ЕтБеааеч — монолит 


Т.к. приложение монолитное 
Плюсы: 
° Все коннекторы доступны из коробки 


Тагапфоо! 5э Яндекс (Не) нанеся 


ПебБе7щт ЕтБеааеч — монолит 


Т.к. приложение монолитное 

Плюсы: 
° Все коннекторы доступны из коробки 
® Относительно гибкая конфигурация 


Тагапфоо! во Яндекс (Не) нанеся 


ПебБе7щт ЕтБеааеч — монолит 


Т.к. приложение монолитное 
Плюсы: 
° Все коннекторы доступны из коробки 
® Относительно гибкая конфигурация 
Минусы: 
. Сложно масштабировать 


Тагапфоо! 61 Яндекс (Не) нанеся 


ПебБе7щт ЕтБеааеч — монолит 


Т.к. приложение монолитное 
Плюсы: 
° Все коннекторы доступны из коробки 
® Относительно гибкая конфигурация 
Минусы: 
. Сложно масштабировать 
. Любое изменение -> пересборка всего приложения 


Тагапфоо! 62 Яндекс (Не) нанеся 


Дебет Фег\уекг 


Му$ОЕ 


Ро${аге5 о | 


Ро${вгеЪ от 


= Берет инь 


ъоигсе Соппестог$ 


Оере7цит З$егуег 


Тагапфоо| 


Хх РОУЕЗАВ 
У Сооёе 
РибБ/5иЬ 


65 Яндекс (НЕ) Менгоач" 


Дебет Фег\уег 


Плюсы: 
° Есть готовые сборки 


Тагапфоо! вл Яндекс (Не) нанеся 


Дебет Фег\уекг 


Плюсы: 
. Есть готовые сборки 
. Легко добавить новый зочгсе-коннектор 


Тагапфоо! 65 Яндекс (Не) нанеся 


Дебет Фег\уекг 


Плюсы: 
. Есть готовые сборки 
. Легко добавить новый зочгсе-коннектор 


. Легко использовать с собственными зоугсе-коннекторами 


Тагапфоо| 


66 Яндекс (нь) 


Ни2НГоаа** 


Дебет Фег\уекг 


Плюсы: 
. Есть готовые сборки 
. Легко добавить новый зочгсе-коннектор 
. Легко использовать с собственными зоиугсе-коннекторами 


. Г|росто конфигурируется 


Тагапфоо! 67 Яндекс (Не) нанеся 


Дебет Фег\уекг 


Плюсы: 
. Есть готовые сборки 
. Легко добавить новый зочгсе-коннектор 
° Легко использовать с собственными зочгсе-коннекторами 
. Просто конфигурируется 
. Легко масштабируется с помощью Кирбегпефез 


Тагапфоо! ве Яндекс (Не) нанеся 


Дебет Фег\уекг 


Плюсы: 


Есть готовые сборки 

Легко добавить новый зоигсе-коннектор 

Легко использовать с собственными зоигсе-коннекторами 
Просто конфигурируется 

Легко масштабируется с помощью Кибегпефез 

Можно добавить своё хранилище оффсетов 


Тагапфоо! вэ Яндекс (Не) нанеся 


Дебет Фег\уекг 


Плюсы: 
. Есть готовые сборки 
. Легко добавить новый зочгсе-коннектор 
° Легко использовать с собственными зочгсе-коннекторами 
. Г|росто конфигурируется 
. Легко масштабируется с помощью Кирбегпеафез 
® Можно добавить своё хранилище оффсетов 
Минусы: 
е Сложность добавления своего эзткК-коннектора 
(относительная) 


Тагапфоо! 7о Яндекс (Не) нанеся 


Дебет Фег\уекг 


Плюсы: 
. Есть готовые сборки 
. Легко добавить новый зочгсе-коннектор 
° Легко использовать с собственными зочгсе-коннекторами 
. Г|росто конфигурируется 
. Легко масштабируется с помощью Кирбегпеафез 
® Можно добавить своё хранилище оффсетов 
Минусы: 
е Сложность добавления своего эзткК-коннектора 
(относительная) 
. Накаждое изменение зтка надо пересобирать дистрибутив 


Тагапфоо! я Яндекс (Не) Наньсаа 


Дебет Фег\уекг 


Плюсы: 
. Есть готовые сборки 
. Легко добавить новый зочгсе-коннектор 
° Легко использовать с собственными зочгсе-коннекторами 
. Г|росто конфигурируется 
. Легко масштабируется с помощью Кирбегпеафез 
® Можно добавить своё хранилище оффсетов 
Минусы: 
е Сложность добавления своего эзткК-коннектора 
(относительная) 
. На каждое изменение зтка надо пересобирать дистрибутив 
° Из коробки хранит оффсеты в файле, в Ка[!Ка или в Кеа!з 


Тагапфоо! 72 Яндекс (Ни) Нньсаа 


А если источник распределенный? 


А что делать если источник шардирован, как, например, Мопго08В 
или Гагап®оо!® 


Тагапфоо! 75 Яндекс (Не) нанеся 


А если источник распределенный? 


А что делать если источник шардирован, как, например, Мопго08В 
или Гагап®оо!® 


Ребе7тит ЕтБеааеа 
® Масштабируем по шардам вручную 


Тагапфоо! 74 Яндекс (Не) нанеся 


А если источник распределенный? 


А что делать если источник шардирован, как, например, Мопго08В 
или Гагап®оо!® 


Ребе7тит ЕтБеааеа 
® Масштабируем по шардам вручную 
. Оффсеты храним в приемнике для каждого шарда 


Тагапфоо! 75 Яндекс (Не) нанеся 


А если источник распределенный? 


А что делать если источник шардирован, как, например, Мопго08В 
или Гагап®оо!® 


Ребе7тит ЕтБеааеа 
® Масштабируем по шардам вручную 


. Оффсеты храним в приемнике для каждого шарда 
ебет Зегуег 


° Масштабируем по шардам с помощью Кибегпаез 


Тагапфоо! 76 Яндекс (Не) нанеся 


А если источник распределенный? 


А что делать если источник шардирован, как, например, Мопго08В 
или Гагап®оо!® 


Ребе7тит ЕтБеааеа 

® Масштабируем по шардам вручную 

. Оффсеты храним в приемнике для каждого шарда 
ОеБе7ат Зегуег 

° Масштабируем по шардам с помощью Кибегптаез 


. Оффсеты храним в файле, Ка{Кка, Кеа!$, приемнике для каждого 
шарда 


Тагапфоо! 77 Яндекс (Не) нанеся 


А если источник распределенный? 


А что делать если источник шардирован, как, например, Мопго08В 
или Гагап®оо!® 


Ребехит Етбеааеа 

® Масштабируем по шардам вручную 

. Оффсеты храним в приемнике для каждого шарда 

ебет Зегуег 

°® Масштабируем по шардам с помощью Кибегптиез 

. Оффсеты храним в файле, Ка{Ка, Кечд!$, приемнике для каждого 
шарда 

Ка!Ка-соппес\* 

°® Масштабируем по шардам с помощью тасков Ка!ка-соппес* 


Тагапфоо! 78 Яндекс (Не) Наньсаа 


А если источник распределенный? 


А что делать если источник шардирован, как, например, Мопго08В 
или Гагап®оо!® 


Ребе7тит ЕтБеааеа 

® Масштабируем по шардам вручную 

. Оффсеты храним в приемнике для каждого шарда 

ОеБе7ат Зегуег 

°® Масштабируем по шардам с помощью Кибегптиез 

. Оффсеты храним в файле, Ка{Ка, Кечд!$, приемнике для каждого 
шарда 

Ка!Ка-соппес\* 

°® Масштабируем по шардам с помощью тасков ка!ка-соппес" 

° Храним оффсеты в Ка!ка для каждого шарда 


Тагапфоо! 7э Яндекс (Не) Наньсаа 


Выводы 


Выводы 


. Выбрали СОС 


Тагапфоо! вт Яндекс (Не) нанеся 


Выводы 


. Выбрали СОС 
е да\уа + ОФеретцит 


Тагапфоо! в2 Яндекс (Не) нанеся 


Выводы 


° Выбрали СОС 
° да\уа + ОФебе7тит 
® Собрали кейсы неправильного использования 


Тагапфоо! в5 Яндекс (Не) нанеся 


Выводы 


° Выбрали СОС 

° да\уа + Фебетит 

® Собрали кейсы неправильного использования 

° Г|олучили инструмент, реализующий необходимый функционал 


Тагапфоо! вд Яндекс (Не) нанеся 


Выводы 


° Выбрали СОС 

° да\уа + Фебетит 

® Собрали кейсы неправильного использования 

° Г|олучили инструмент, реализующий необходимый функционал 
. Оебелит Етреааеча —> ШФебегит Фегуег 


Тагапфоо! в5 Яндекс (Не) нанеся 
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